Interpreting Deep Learning from a Biological Perspective
〜ディープラーニングはどこまで脳か〜
園児で大学院生
はなまる幼稚園 人工知能研究センター
ディープラーニングの医療応用
そもそもなぜ動くか？
圏論+NN
データマイニング←計算機資源とデータの物量で勝負
Deep Learning： 深い(多層)NNを大量のデータで学習
特徴抽出を自動でやってくれる
"本質"を抽出する装置...
脳は本当にDLなのか？ DLは本当に脳なのか？
McCulloch-Pittsモデル：実際の神経細胞の簡単なモデル化(今のDLの元になってる)
時間を含む場合：Hodkey-Huxley方程式
シナプスの可塑性⇔結合重みの学習
McCulloch-Pittsモデルを無限に広くor深くすると任意の入出力関係を任意の精度で表現可能(一般に学習は難しい)
一方脳では
大脳皮質は物理的な場所ごとに機能を分担している
情報の処理は階層的に行われる
e.g. 視覚： V1→V2→V4→IT野
DLも階層的
V1野：線分検出・画像エッジに反応，極めて小さな受容野を持つ
高次野：よくわかっていない
単純型細胞と複雑型細胞
単純型才能： 最適刺激に反応
複雑細胞： 最適刺激とその位相ズレに反応
これを応用したのが福島邦彦によるネオコグニトロン
「高次野はわからんからV1野を重ねよう」
現在はやりのCNNもほぼ同じアーキテクチャ
CNNではV1野の構造のみ，生物の本物の脳はもっと複雑
小脳
皮質は運動制御に寄与
小脳パーセプトロン仮説
大脳基底核から報酬を受け取り，教師あり学習を行ってる？
運動学習・強化学習
強化学習はシステムの行動に対して報酬を与え，その報酬を最大化することによって学習を行う
小脳は強化学習を行ってる？
コンピュータシミュレーションの知見から生理的示唆を与えた例
DLはどこまで脳か？
「DLは脳か？」→「ぼくはNoだと思いまぁす……」
時間の次元がない / 領野間のコミュニケーションがない / ネットワークの層が深すぎる
AIの先に脳はあるか？→ない
最先端のDeepLearningのモデルは，(もとはニューロンのモデルだが)黒魔術すぎる
これからのDL研究はもっと生理学的な知見をもっと取り入れ「脳に学ぶ」ことが大切
「時に脳を大胆に忘れ、単なる数理モデルとして扱うべきだ」
おもしろい！！llminatoll.iconllminatoll.icon*2llminatoll.icon
自分の研究
Connectionist Mathematical Models